وقال له : من بقي عندي إذا انعزلت عني ومن يفهم عنّي ، ما كان هذا فيك ظني ، الصحبة كانت للّه ، فلا تقطعها بكلام أولادك ، ولا بكلام غيرهم من حسّادك ، فلما أكثر عليه من هذا ، لان له وعزم على الحضور عنده ، وترك الدرس والتدريس ، وكان مع والدي كما قال بعضهم : من لي بمن يبق الفؤاد مودة * وإذا ترحّل لم يزغ عن عهده يا بؤس نفسي من أخ لي باذلا * حسن الوفاء بقربه لا بعده يولي الصفاء بنطقه لا خلقه * ويدسّ صابا من حلاوة شهده لاهمّ إني لا أطيق فراسة * بل أستعيذ من الحسود وكيده وكان الشيخ أبو عبد اللّه القصري يؤمئذ بالمدينة ، وكان يحضر الدرس على يمين والدي ، والشيخ أبو عبد اللّه بن حريث على يساره ، فأغاظهما ذلك وكثرت أنا عليهما الشكوى ، فاجتمع الشيخ أبو عبد اللّه القصري بوالدي وقال : لا سبيل إلى أن ترجع إليه ، ولا يخلصك هذا من اللّه . وشدّد عليه وأقسم عليه حتى رجع من ذلك الرأي ، فأصبح في مجلسه مع جماعته والسّرّاج منفرد مع أصحابه ، فعاود الاجتماع به وكثّر عليه . وقال له : ألم أقل لك لا تسمع من هؤلاء الذين يريدون فرقتنا وذهاب أبّهتنا ؟ ما هذا مليح ، والرأي أن لا تفعل ، وترجع إلى مكانك معي ، فأنا أعلم أنك لا تحب الفتنة ولا الظهور ، وفي هذا الذي أنت فيه تجري أمور . ولم يزل به حتى رجع إليه ، فرجعت إلى الشيخ أبي عبد اللّه وعرفته بما يفعل السّرّاج معه ، فعاوده الشيخ وأقسم عليه وشدّد عليه العزيمة . فقال له والدي : أخشى أن يتعدى الحال إلى فرقة وعصبية ، فيذهب نور